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Beschr eibung 



Objeklen, wie auch Objektnetzen. 

msmsm 

Analyseprozesses ist. 

und Entstehungsgeschichtederen Nachbarschaft. 

Abbruchkriterien fur den EvdutionsprozeG werden uber Anwendungsvorschrift definiert, die damit 
selbst ein wesentliche Merkmale von .Objects of Interest sind. 

Objects of Interest. 

Meta Objects of Interest' Oder .Meta Classes of Interest" sind als die Objekte und Klassen zu 
" defiriera we°che ^Tevohittonare ZwischenzustSnde der zu extrah.erenden .Objects of 
%E£ "wander In^cklungsstadien dieser .Objects of Interest" entstehen. 

- Die evolutionare Entwicklung von .Meta Objects of Interest" oder .Context Objects of Interest" 
sind Merkmale des Objects of Interest. 

- Das .Object of Interest" kann uber die Evolution der Nachbarschaft (d.h. der evolutionar 
veranderbaren Nachbarschaft) entstehen. 

- Fixklassen sind Klasserv, deren Objekte Ziel einer Objektevolution sein konnen, aber selbst 
nicht mehr an der Evolution teflnehmen. 

SSSSS5SSSS355as5 craw 

Candidate Objects vefwendet werden. 
Objects. 

Verschiedenen morpho.ogische Operation kOnnen parallel, nacheinander oder konkurrierend bei der 
Ermittlung der optimalen ^Combination eingesetzt werden. 
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Classification based 
Object Evolution 
(Triangle Process) 





Evolution unteriiegen bleiben Seed Objects. 

Die Zugehdhrigkeit eines auf diese We*e der ^^e^rfe^^Objects zu einer T«gel 
Class karm nach jedem Evofutionssschritt zu emer andecen Target Class wechseln. 
Seed Oder Target Objects, die zwischen ^ei^ f^e^ Evo.utionsschritten als Rx 
Objects klassifiziert werdett kfinnenv unteriiegen keiner werterert Evolution 
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Object Evolution 




Evolution Steps 



Metaklassendenniertw(^en,v^edasObje^ wb ^ bestimrrter 

innerhalb des Bildes beschrefcen konnen. 

Durch re.ationa.e AbhSngigkeft einzemer Keim-, .^«K^- C 3r^^^u5^^ 

zss^^jsz^ * - — de * hn,iche 

Aufgaben als Primaransatz zur Objektevolution genutzt werden. 

suboptimale Pfade. Dfe Zagehddgkeif «nes Ot*«* * ™«**2Lf bStttSehal ™D a Optimafflat 
Pfades mit dem die Zfelttasse enrelcht wird. 

Ergebnissen der Datenauswertung zu speichem und zu dokumermeren. 
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Object Evolution 
in evolution steps and feature space 




\ = Trajetorie / Evolution Path in evolution steps and 
-i / dynamicat feature space 



Das Verfahren kann auf mehreren HIerarchieebenen und fur 

nkMdizeitia ausaefuhrt werden. Bne Seed-Klasse kann zu mehreren Targets fuhren und umgeKenrt. 
TrafeSrSn s?l Merkmalsraum teilen und zu unterschiedlichen Targets fuhren. 

Konkurrenzen zwischen Klassen konnen unddtirfen auftreten. 



Object Evolution 
Concurrent in different levels 
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Feature Space 

Object Evolution runs concurrently on different levels and within 

one level 



Anwendungsbeispiel: 

weSn morphologische bzw. strukturbildende Operat.onen defimert, we z.B.. 
eines Seed Objects ^^^^c^ 

(Schrumpfung) ist efne Subtrakt.cn vo^Cj^date ™£ % a(s Fit ^ (a „ e candidate 
einem Seed Object ^5^^^^°^^^^ sS und efnem Candidate Object) 
Objects mit dem Seed Object), Best Fit (f^J^^^^a^toOtiiBa. unter gegenseitiger 
und Mutual Best Frt (beste Kombinafor, .von Seed unc e.nem s 5 a ™^f n Cl Erosion 9 u 9 nd Dilation 
Bestpassung anderer Seed Objects mrt Mm Can^ate ^^^^ p nnzipie || konnen 
konnen in einem Evolutionsschntt als tonkwnerende •P^JJJJJ 1 DMa tationsprozesse. 
auch mehrere Erosionsprozesse zueinander in Konkurrenz auftreten, genauso uuaxa H 

2.) Watershed Transformation OA/asserscheidentransfomiation): , andscnaft P(X Y Z) betrachtet. 
Das Fractal Hierachische Netz der Obekte w,rd als 3 ^'^onale ^™J2omSx und Y auf. Die 
Das Nachbarschaftsnetz der Seed Objects m emer Eben e spannt d.e ^ e "^ n * sjch gus der 
dritte Dimension Z ist Klassenzugehongkeitfunkt.on der Objekte zu emer ™ 



Kombination der Zugeharigkeitsfunktionen mittels fuzzy Operatoren der die Klassen def.nierenden 
Merkmale ergibt 

in dieser dreidimensionale Landschafl werden die lokalen Minima der ^^^^^^J 
lirtuell mit einer Flussigkeit geflutet, bis ein defmierter Te.l Oder <^ 0«« LajJ^ ul^ec^. 
iPdes einzelne lokale Minima der Seed Objects erzeugt eine neues Target Object (F utungsoecKen; 
*?LTaT?in£ hShererT Coder auf der gteichen) Ebene und aire von der virtuellen Fluss.gkeit 
•S^kten SS^M^tSS^^L werden damit verschmolzen. Das neue Target Object 
£ zu andem o£m S^nzt d!rch die Wasserscheiden (Watershed) in der Landschaft und den 
To^e^6eo^Q^^^^er Rutungsbecken. Fails das Target Object twUnsnd des 
WaSums a.s F* aals klassiffziert wefden kann, so stopped das Wachstum d.eses Objekts. 

Object based Watershed Transformation 
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Space X, Y 



Waterbasin 



Space X, Y 



Legend: Objects = 



Statt die Wassenzugehorigkertfunktion Z, kann auetv derBetrag der <M«*n der 
fcfiatcPTimPhnrinkeitfunktiort Zn™i zwischen benach barter See* Objects Zcrad - - H/l "J e »eeu 
i 9 ate £ HenS^gefaBt wenten. Die lokalen Minima der Gradlenten s,nd dann d,e 
Flutungsbeckender Wasserscheiderrtransformation. 

im Geoensatz dazu verwenden die entsprechenden bekannten Verfahren der 
WassenSSr JfomUon pixelbasierte Birder and die Grau-ZFart^erte der Poce. zur 
Aufspannung der dreidimensronalen Landschaft. 

Die Obiektbasierten Wasserscheidentransformation kann evolutionar wiederum auf das resultieren 
F aktal SSe Netz einer vortrergehenden Objektbasierten Wassersche.dentransformat.on 
angelndrvSS; und es entsteht eine Objekthrerachie mit verschieden aufgelosten Ebenen. 

M6gliche Einsatzgebiete der Objektbasierten Wasserscheidentransformation sind: 

b 



. Die Suche nach lokalen Extrema der KlassezugehOngke.tfunkt.on n™™?^™*^^ jst _ jne 
. Die Segmentierung von Objektnetzen an Hand der Wassen2ugehongke.tfunkt.^ 

Klassniugehorigkeitsfunktion? Eine Zugehdrigkeitsfunkt.on g.bt an welche Elemente mrt welchem 

Grad zu einer Klasse aehoren. 1st da ntcht etwas doppelt ? 
. Die Trennung einS Objekts (z.B. die Trennung zwei sich uberiappender Zellen) an den konkaven 

siellen 3 Sel^nzung durch Flutung der Objektlandschaft unter Verwendung des Merkma.s, 

relative Distanz zur Begrenzung des Superobjektes. 

3 ^ Anwenduna der Classification based Object Evolution auf Zeitreihen wie z.B Filmen. 
Die S on baseTobject Evolution kann auch auf Zeitreihen von Fraktal h.erarch.schen Netzen 
^oeweSerwe^eS (z.B. Abfolge von Bildern). Dabei werden Target Objects ,n e.nem Netz als Seed 
ObjeS for d7e ^iS fofcenden Metze verwendet bzw. auch de 
Fvolution wird die Jntrinsische Zeit", welche zur Prozessierung e.nes Dre.ecks-Prozesses in oer 
IS^c^S-SKSrt mit ph^sikalische Zeit die Zeit gemeint ^^^°^^Z 
T n rt» r nhv<;ikfli Time Achse beschreibt. Der Ubergang vobn Seed zum Target entlang aer 
ptrX^S^^ S « der Definition von geeigneten Obergengskiassen anhand von 
geeigneten Merkmaien wie zJB. Formmerkmalen realisiert werden. 

Object Evolution on time sequences of 
Fractal Hierarchical Nets 
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Physical Time 



Legend: 



Fractal 
Hierarchical 
Net 
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Seeds 




Enrwicklung von Seeds zh Target liber 

Modellieriing der Evolutionspfaden 

»rhalb des dynamischen 

MedJn^!!k«^imes, Modellierung bzw. 

Auszeichnung*c!S Uu u|4imalen Pfades 

retarg* 





Targets 






konnen, gehen unterwegs verloren 



Konnte noch ate Beispiel dazukommen.: 
Wie finde ich Schnuller 

Als optimaler Weg im Sinne von Geschwindigkeit undTreffsicherheit, kdnnte sich herausstellen. 

- starte mit kleinerv Kreisen die konzentriscn wacnsen, solange ausreichende Homogenitat 

kreisahnliches Gebitde mit ahnlichem Flacheninhalt gesucht (Metaobjekte der Klasse 

- SeSf voa dem entstandenen kreisahnlichen Gebilde wird ein Fortsatz mit einer 
bestimmten Breite (Breite / Durchmesser des Kreises) gesucht 

- Wird kein Fortsatz get unden - stirbt das ObjekL 



. Wird ein Fortsatz gefunden wachst der Fortsatz bis zu einem bestimmten 

- ("^bls zu^dem M^S^rt keine Verbreiterung in Sicht, wird abgebrochen 

- Sonst iiber konzentrisehe Kreise der komplette Schnuller gefunden. 

Die supoptimalen Wege - 0 
- Suche Geradenstuck mit groBem und kletnem benachbarten Kreis 

- suche ohne berucksfchtigung der geometrischen langen/bre,tenverhaltn,sse 

^^^^^^^^^^^^^^ 

hUfreich sein. - Wissen ist adaptiv. 
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Die Vlelfaltigkeit der Auswertungsaufgaben in Cognition Networks erfordert ein e.nfaches aber 
hoohflexibles und leistungsfahiges Verfahren, das es ermaglicht selbstSndig komplexe 
pssensextraktionen aus be.iebigen Datenstrukturen (wie ,B. Bi.ddaten, Texte etc.) zu entw.ckel, 

I im folgenden wird das Verfahren beispielhaft an Bilddaten beschrieben. 

| zentrale Anforderungen an Wissensextraktionsverfahren sind Stability Robustheit und 
Obe^ gbarkeit. DafOr mOssen die eingesetzten Verfahren mag.ichst losgelSst von der , konkreten 
Senschaften" der Datenstrukturen (Farbwerte etc, entwicke.t werden unc I die Au ^.ung 
durch die Representation von ubergeordneten strukture.len, re.ationa.en und anderen stab.len, 
robusten und Qbertragbaren „Eigenschaften" losen. 

Komplexe Wissensextraktionsverfahren erfordern sowohl .Pixel"- als auch .Objekr - basierte 
"n die wahiweise gioba, a.s auch adaptiv und/oder ,oka. anwendbar seien mOssen (Hybnde 
j Verfahren). 

In vielen Einsatzgebieten, wie z.B. der medizinischen Bildanalyse, ist insbesondere die 
Automatisierung der Analyse von wesentlicher Bedeutung. 

I Die Erstellung der Wissensextraktionsverfahren kann sowohl ohne eigene Programmierkenntnisse 
I ober eine graphische Benutzerschnittste.ie (GUI, Rapid Prototyping) a.s auch uber eine gee.gnete 
..Programmiersprache" erfolgen. 

| Fin s .hr allaemein- Verfahren fur die Wissens reprSsentation , ,nrt -prozessierung wurde von der 

/1Q 



I Definiens AG als ..fraktales Netz n'ter Ordnung" bereits patentiert (DE 199 08 204 A 1). Derartige 
Netze werden weiteren als ..Cognition Networks" bezeichnet (das Patent im folgenden als P1). 

Eine Adaption dieser allgemeine Struktur wurde als ..Verfahren zu Verarbeitung von 
Datenstrukturen" patentiert (DE 199 60 372 A1) (das Patent wird im folgenden als P2). H.er wird 
eine konkrete Auspragung eines fraktalen Netzes n-ter Ordnung beschrieben. die .n der Lage .st, 
Datenstrukturen zu verarbeiten. Dazu dienen insbesondere nach Anspruch 15 
Prozessierungsobjekte", die Algorithmen und Ablaufsteurungen enthalten. die auf semant.schen 
Einheiten zu denen eine Verknupfung besteht, wirken konnen. Nach Anspruch konnen 18 diese 
Prozessierungsobjekte an ein ..Klassenobjekt" geknGpft sein und so lokale Prozess.erungen 
I ermoglichen. Dazu konnen die Prozessierungsobjekte nach Anspruch 35 auf eine Vielzahl von 
..Algorithmen" zuruckgreifen. 

I Grolie Telle diese Erfindung wurde in einer konkreten Softwareimplementierung (eCognition) 
umgesetzt Fur eine konkrete Realisierung der ..Prozessierungsobjekte" entlang der beschriebenen 
Konzepte scheiterte jedoch lange an dem BrUckenschlag von der allgemeinen Beschre.bung von 
P1 und P2 zur konkreten Anwendung (eCognition). 

Insbesondere die Probleme der lokal adaptiven Prozessierung. der Ablaufsteuerung und der 
..Hybriditat" konnten nur in Ansatzen adressiert werden. 



I Erste Ansatze sind an verschiedensten Stellen in eCognition integriert. 

• User defined Image Object Features 

• Protocol Editor 

• Classification Based Segmentation 
. Segmentierung auf globaler Bestpassung statt auf lokaler 
. Zuschaltbarkeit der ..Klassifikationsbasierten" Merkmale 

. darauf aufbauend die Automatische Bestimmung der Anwendbarkeit von Klassen 

. Umfangreicher Satz von ..Klassifikationsbasierten" Merkmalen 



Die Losungen sind sehr spezifisch und daher inflexibel im Einsatz bei neuen 
Anforderungen des Users oder der Datenstrukturen 

Es liegt kein schlussiges Gesamtkonzept fur eine umfassende LOsung der gesch.lderten 
Aufgaben vor. 

Zahlreiche Anforderungen sind often oder noch unzureichend integriert: 
o lokale Prozessierung 
o klassifikationsspezischische Prozessierung 
o benutzerdefinierte Merkmale 
o Stabilitat und Qbertragbarkeit der Regelsatze 
Die Losungen sind jeweiis ..Entweder-Oder" 

entweder Pixelorientiert oder Objektorientiert 

entweder ni^ip Prozessierung oder lokal adaptive Prozessierung 



o 
o 



IZahlreiche Nebenprobleme bestehen in aktuellen Softwareverfahren: 

. Regelsatze sind stark an eine grolie Menge von absoluten Objekteigenschaften geknupft 
. Regelsatze sind statisch, d.h. die Klassen sind wahrend der gesamten Auswertung fix 
. Eine einmal gefundene Klassifikation kann nicht einfach festgehalten werden, sondern 
muli so beschreiben werden, dalJ sie in alien weiteren Auswertungsschritten bestehen 
bleibt. Dies kann oft nur durch sehr komplexe Klassenformulierungen erreicht werden. 
. insgesamt sind die Regelsatze oft sehr fragil und enthalten viele ..Schmetterlingseffekte" 
• Dadurch wird haufig die Qbertragbarkeit eingeschrankt 

. Eine wirkliche lokale Prozessierung ist nicht mOglich, alle Verfahren werden global auf das 

gesamte Bild angewendet 
. Die Segmentierung leidet an einer starken Abhangigkeit vom Bildmaterial und einer 

inharenten „Unvorhersagbarkeit", beeinflulit aber gleichzeitig alle weiteren Auswertungen 
substantiell 

. Eine wirkliche dynamische Gestaltung der Bildobjekte entlang der aktuellen 

Auswertungsanforderungen ist nicht mOglich 
. Viele Verfahren sind fest implementiert und konnen nicht vom User nur im Rahmen 
vordefinierter Parameter verandert werden. (z.B. ist keine frei definierbare 
Segmentierungen vorhanden) 



Die Erfindung schafft ein in sich schliissiges Gesamtverfahren, das alle Notwendigkeiten fQr e.n 
Datenanalyse System, wie in 1 .1 beschrieben, bereitstellt. Die vorhandenen Konzepte der 
Cognition Network Technology lassen sich schlOssig und in einfacher Weise mit der Erfindung 
kombinieren und erganzen sich gegenseitig. 



Die Bildauswertung wird durch Prozessnetze modelliert. Die einzelnen Prozesse kdnnen 
Bildobjekt Domanen", „Klassen Domanen" und Analyse-Verfahren (Algorithmen) umfassen. 
Prozesse sind in einer fraktal-hierachischen vernetzen Struktur gegliedert, die gle.chze.t.g zur 
Ablaufsteuerung dient. Ein einzelner Prozess ist eine abgeschlossene Einheit. die eventuell 
versehen mit Kontextinformation selbstandig agieren kann. Die Bildauswertung ist in d ie sem 
Modell die sequentielle oder parallele Ausfuhrung eines fraktal-hierarchischen Prozessnetzes. D.e 
Prozessierung kann dabei beliebig zwischen global und lokal und alien Zwischenstufen h.n und her 
wandern Auch das Berechnen von Bildobjekt - Eigenschaften (Merkmale) kann in ahnlicherWe.se 
formuliert werden. Die Merkmalsberechnung ist also ein spezieller Prozess. Da Prozesse behebig 
lokal/global arbeiten konnen und dabei stets die gesamte Kontextinformation der ubergeordneten 
Prozesse zur Verfugung haben kOnnen Klassen und Merkmale ebenso relativ wie absolut 
beschrieben und ausgewertet werden. Ebenso ist eine adaptive Anpassung der Bildobjekte selbst 
an die jeweiligen Erfordernisse der Prozessierung mdglich. Information bzw. Wissen kann 
entsprechend der Anforderungen und/oder Fragestellungen der Benutzer selektiv und gez.elt aus 
den Datenstrukturen (Bildern, etc.) extrahiert werden 



Foloende zusatzlir.hen Features fu h ren zu einem ..Visual Basic zur Wissensextraktion' 



Die Klassifikation von Beziehungsobjekten zwischen den Bildobjekten erlaubt eine 
allgemeine und nachvollziehbare Moglichkeit zur Definition beliebiger 
Segmentierverfahren. 

Die Formulierung von Zielfunktionen bei Optimierungsaufgaben. Dafur dient z.B. ein 

graphischer Editor vergleichbar mit einem Formeleditor und/oder Taschenrechner. 

Der Satz an verfugbaren Basis-Algorithmen (wie z.B. Fusion, Klassifikation, 

Randoptimierung) kann uber eine Programmiersprache beiiebig erweitert werden. 

Eine Art .Inline Compiler" wie bei z.B. in Java kann fur Performanceoptimierung eingesetzt 

werden 



Die allgemeinen Konzepte der Patente P1 und P2 werden so realisiert, das eine 
Schlussige Bundelung aller „Analyse-Aktivitaten" in einem einfachem Gesamtverfahren 
erfolgt. 

Die Sichtweise wird von einer reinen Sicht aus dem Objekt heraus (Innensicht) zugunsten 
einer Sichtweise auf „Verfahren/Prozesse", also einer Sichtweise von „Auflen" auf das 
Cognition Network, geandert. Die Verfahren/Jani hangen nicht am zu analysierenden 
Objekt selbst, sondern sind eigenstandigen Objekte in einer eigenstandigen Struktur (f-h 
Netz/Cognition Network), die auf beliebigen Ausschnitten der Cognition Networks der 
Bildobjekte und Klassen in freier Art und Weise agieren konnen. (siehe Skizze A) 
Ebenso sind Prozesse nicht spezifisch fur einzelne Klassen (P2, Anspruch 18) sondern 
agieren auch hier unabhangig. 

Die Verknupfung der Prozesse mit den Bildobjekten und Klassen erfolgt durch Domanen, 
die als eine konkrete Realisierung der durch eine Abstandsfunktion beschriebenen 
Nachbarschaft nach P1, Anspruch 22 gesehen werden konnen. 
Diese Verknupfung kann auch erst zur Laufzeit/Ausfuhrungszeitpunkt des Prozefies 

erfolgen. 

Das Wissensextraktionsverfahren besteht aus dem Zusammenspiel der drei ..Welten": 
Bildobjekte, Klassen, Prozesse. Die Prozesse fallt dabei die Rolle der agierenden Instanz 
zu. 

Die in P2, Anspruch 15 erwahnte Ablaufsteuerung wird explizit und schlussig durch die 
Netzstruktur der Prozesse realisiert. Dabei sind alle aus der Programmierung bekannten 
Freiheitsgrade mdglich. 

Die eher impliziten „Trigger" - Mechanismen zur Ablaufsteuerung nach P1 und P2 sind 
ebenso denkbar, spielen aber gegenuber der vernetzten Struktur der Prozesse eine 
nachgeordnete Rolle. 



Die freie Formulierung beliebiger Prozessablaufe wird innerhalb eines schlussigen 
Gesamtkonzeptes ermOglicht. 

Die Entwicklung von beliebiger Analyseverfahrern kann uber ein graphisches 
Benutzerinterface geschehen und erfordert vom Anwender keine Programmierkenntniss 
bzw. Wissen uber die inneren Aufbau von eCognition 

Alle qanqiqen Kontrollstrukturen von Programmiersprachen (Schleifen. Verzweigungen, 



Funktionsaufrufe, Sprunge und Abiaufsteuerung) sind im Prozessmodell enthalten bzw. in 
einfacher Weise zu realisieren. 

Der einfache und modulare Aufbau der Prozess Domane aus den Komponenten 
(Bildobjekt Domane, Klassen Domane, Algorithmus Domane) erlaubt den einfachen und 
flexiblen Ausbau und einen geringen Wartungsaufwand konkreter Implementierungen. 
Alle derzeit bekannten Anforderungen im Bereich lokale/globale, kiassenspezifische 
und/oder objektspezifische Prozessierung werden erfdllt 
Die Erfindung kann allgemein zur Erstellung von Wissensextraktionsverfahren mit Hilfe von 
Cognition Networks aus beliebigen Datenstrukturen verwendet werden 



Hybrides Verfahren 

o sowohl Pixel als auch Objekt - basiert 

o sowohl global als auf lokal 

o sowohl adaptiv als auch nicht adaptiv 
f-h Prozess Domanen basierte Wissensextraktion aus Datenstrukturen 
Domanen Janus 
Visual Basic fur Bilder 
Djini Technology 



1 . Generelle Beschreibung 

In der Beschreibung wird versucht die Analogie zu einem Computerprogramm aufzuzeigen 
Vergleichbare Strukturen oder Begriffe erscheinen (kursiv in Klammern). Diese Analogie dient | 
lediglich zur Verstandnis des Verfahrens. 



I Ein Prozess {function) besteht aus folgenden Komponenten (code) 



Bildobjektdomane 
Klassendomane 
Algorithmendom^ne 
Kontrollstrukturen 



Ein Prozess kann beliebig viele Unterprozesse (function calls) enthalten. Diese werden als eine 
Art weitere Algorithmen des Prozesses vor oder nach dessen ..Hauptalgorithmus" ausgefuhrt. 
Dadurch entsteht eine Baum- oder auch nichtzyklische Netzstruktur vergleichbar zu einem 
Computerprogramm, das aus Funktionen zusammengesetzt ist. Die ProzessausfQhrung erfolgt 
ausgehend von einem Prozess aus (main function), der dann sequential oder parallel (threading 
model) seinen enthaltenen Algorithmus und die Unterprozesse ausfuhrt. Das gesamte Verfahren 
besteht also aus 



Netz von Prozessen (source code) 



Ablaufsteuerung {program execution) 



Die wesentlichen Komponenten der Ablaufsteuerung sind 

• Ausfuhrungskontext (call stack) 

• Zeiger auf den aktuellen Prozess (point of execution, ip register) 

• Zeiger auf das aktuelle Objekt in der aktuellen Domane 

• threading model : sequentiell, parellei,... 

2. Erlauterung der Prozess - Komponenten 

Bildobjektdomane ist eine beliebige Teilmenge des gesamten Bildobjektnetzes. Diese ist haufig 
I durch topologische oder andere Eigenschaften spezifiziert. Beispiele sind: 

Bildobjektebene 

Die Nachbarschaft eines Objektes 
Die Unterobjekte eines Objektes 
Die Oberobjekte eines Objektes 
Objekte einer gewissen Kiasse 
Objekte mit gewissen Eigenschaften 
Schnittmenge der obengenannten Domanen 

I Klassendomane ist eine beliebige Teilmenge des Klassennetzes. Klassen mussen nicht uber 
Merkmale definiert sein (leere Klassen). 

I Algorithmendomane ist ein Teilmenge beliebiger Verfahren auf Bild und/oder Klassendomanen: 

• Erzeugen von Bildobjekten (Segmentieren) 

• Loschen von Teilnetzen des Bildobjektnetzes 

• Klassifikation 

• Berechnen von Merkmalen 

• Speichern von Werten in den Objekten 

• Bildobjekt Modifikation 
o Fusion 

o Randoptimerungen: Dilletation, Errosion 
o Objekt-Extraktion, Oberobjekt-Wechsel 
. Uberprufen auf Extermaieigenschaften 

• Verbindungen Aufbauen 

• Objekte an Formen anpassen 

• Ausgabe von Ergebnissen 

• etc. ... 



■ts 



Ulgorithmen konnen auch parametrisiert werden, so das ein Algorithms in der Lage ist gleich eine 
ganze Klasse von Algorithmen abzudecken. 

Kontrollstrukturen wirken auf Prozessdomanen wahrend der AusfQhrung einer 
IvVissensextraktion. Beispiele sind: 

• Bedingte AusfQhrung 

• Schleifen 

• Verzweigungen 

1 3. Erlauterung der Ablaufsteuerung 

Ausfuhrungskontext speichert alle Informationen die einem Prozess zum AusfQhrungszeitpunkt 
zur Verfugung stehen. Die AusfQhrungskontexte der Prozesse werden ebenso wie die Prozesse 
vernetzt, so daft jedem Prozess die vollstandige Information Qber den Ausfuhrungszustand alter 
derzeit „aktiven" Prozesse zur Verfugung steht. Eine wesentliche Information des 
AusfQhrungskontextes ist dabei die Position eines Prozesses in der aktuellen Bildobjekt, Klassen 
Oder Algorithmendomane („aktive Objekt"). 

Threading Wlodell definiert wie die Algorithmen und Unterprozesse eines Prozesses ausgefuhrt 
werden. Dabei sind alle Variationen zwischen sequentiell und vollstandig parallel denkbar. Auch 
kannte jeder Prozess sein eigenes Threading Modell definieren das von der Ablaufsteuerung 
entsprechend realisiert wird. 

4. Durchfuhrung des Verfahrens 

I Urn ein Bild mit Hilfe des Verfahrens zu analysieren sind folgende Schritte notwendig: 

• Definition eines Oder mehrerer Klassen Netze auf Basis der Cognition Network 
Technology 

• Definition eines oder mehrerer Prozess Netze 

• Auswahl des zu analysierenden Bildes 

• Anwendung der Prozesse auf die Bilder 

1 5. Unterschiede zu anderen Verfahren 

Das Verfahren unterscheidet sich von Programmiersprachen durch folgende Aspekte: 

. Das Schreiben des Quellcodes wird ersetzt durch die Auswahl geeigneter Bildobjekt, 
Klassen und Algorithmen - Domanen aus einem Pool vordefinierter ..Schablonen", sowie 
der Erstellung eines geeigneten f-h Prozessdomanennetzes 
. Die Ablaufsteuerung und der Aufbau der Prozesse sind speziell angepafit auf die 

Bedurfnisse der Wissensextraktion. 
. Die „Proarammierung" erfolgt nicht auf Variablen son dern auf Cognition Networks 



Das Verfahren enweitert, modifiziert, adaptiert, perzipiert Oder transpiriert sich von den 
Grundsatzpatenten im Bereich Cognition Networks durch folgende Aspekte: 

. Die Ablaufsteuerung ist eine eigenstandige Einheit die losgelOst von Bildobjekten und 
Klassen agiert. 

o Bisher wurden Aktionen, Jani, Algorithmen, etc.. stets an Objekte im Cognition 
Network gehangt, bzw. waren ein Bestandteil der Objekte, von denen ausgehend 
sie agierten. AnschliefJend wurde ein nachstes Objekt durch eine ..Triggerung" 
zum „Nachdenken angeregt". 
o Die genaue Form der Ablaufsteuerung blieb dabei unklar Oder war durch implizite 
lokale Logiken und/oder Zusammenhange charakterisiert. jedoch nie als eigene 
klare Instanz gekennzeichnet. 
o Diese' bisherige Sichtweise ist extrem lokai im Gegensatz zur „klassischen" 
Sichtweise der ..globalen" Prozessierung. Beide Sichtweisen haben eigene 

Schwierigkeiten: 

- globale Prozessierung ist sehr einfach aber nicht adaptiv 

- lokale Prozessierungen ist sehr adaptiv aber es ist sehr schwierig zu 
definieren wie das richtige Zusammenspiel lokal adaptiver Prozesse zu 
dem gewunschtem globalen Ergebnis fiihren soli. Es treten haufig 
Emmergenzprobleme oder derZwang zu ..Evolutionarem Selbstlernen" 
auf. Urn es auf die Spitze zu treiben: „Man mufi den Schmetterlingen 
sagen wie sie fliegen sollen, damit das gewQnschte Wetter dabei 
herauskommt." 

o Das vorgestellte Verfahren umgeht diese Schwierigkeiten durch eine 

eigenstandige Instanz (die Prozessnetze) die wechselwirkend mit dem Cognition 
Network sowohl global als auch beliebig stark lokal adaptiv arbeiten kOnnen. Der 
„Grad der Lokalitat" kann selbst adaptiv durch die Prozesse und das Cognition 
Netzwerk gesteuert werden. Die Sichtweise des Anwenders bleibt dabei stets eine 
von Aufien: Er „sagt" den Objekten, durch die von ihm definierten Prozessnetze. 
wie sie sich aus einer gewissen Situation heraus zu verhalten haben. (siehe 
Skizze A) 



• Vielleicht findet sich ja noch einer 

I Zusammenfassend ist das Verfahren als eine Verknupfung der Cognition Network Technology mit 
den Verfahren der Programmierung zu einem neuem Verfahren mit einer Erweiterung der 
MOglichkeiten gegenuber den beiden Einzel - Verfahren ..Programmierung" und ..Cognition 
Networks" alleine zu bezeichnen. Wesentliche Aspekte sind die MOglichkeit einer lokal adapt.ven 
Prozessierung bei Beibehaltung einer globalen Sichtweise (Aussensicht) for den ..Netzwerk 
Erschaffer* zu sein. sowie die Realisierung der Wissensextraktion durch ein hybrides Modell. 



1. Marktanalyse 



1.1. Was der Markt will [35] 

70% der in der Pharma- und ..Lebenswissenschaften -„Life Science"" - Forschung erzeugten Daten sind Bilder. 
Firmen wie Scimauix(http :ww -w.Scimagix.com), Soft Imaging System (http//:www.soft-.maging.de) und Lion 
(http://www.lionbiosciencc.com) liaben Plattformen entwickelt, welche Akquisition, Analyse, Speichern wie 
auch Korrelation von Bildern mit anderer biologischen Information ermoglichen. 

Es sibt eine groBe Anzahl von Anwendungen fUr Bildanalyse im biomedizinischen Bereich, die je nach 
unteTschiedlichen Kriterien in unterschiedliche Segmente unterteilt werden konnen. Dazu konnen folgende 
Applikationssegmente ftlr den bctreffenden Markt definiert werden: 

. Applikationen je nnch medizinischer Anwendung: Gewebezuchtung, Histologic Zytologie, Ultrasound, 
Szindigraphie, MRI, PET.CTusw.. . 

. Applikationen je nach therapeutischer Spezialisierung: Onkologie, Kardioangiologie, Dermatologie, 

CNS, Traumatologic . 
. Applikationen je nach Funktion: Diagnose, Qualitatskontrolle, Medikamentenentwicklung. 
. Applikationen je nach bisher unerftillten Anforderungen: Automation, Ultra - Precision Analyse, 

Geschwincligkeit. Kostcnreduktion, Effizientes Datenmanagement. 
. Applikationen je nach Kunden: Krankenhauser, Diagnosezentren, Forschungsinstitutionen, 
Universitaten, private Unternehmen. , . . . „.,. , 

Insgesamt lassen sich fur die ..Lebenswissenschaften Industrie" und unter dem Kritenum der Bildanalyse - 
Anwendungen, zwei groBe Kategorien identifizieren, welche sich jeweils wiederum in zwe. weiteren Klassen 

unterteilen lassen. 

• „Lebenswissenschaften Forschung und Entwicklung": 
o Grundlagenforschung und 
o Pharma - Forschung und Entwicklung: 

Medikamenten - Entdeckung und 
Medikamenten - Entwicklung. 

Die andere Kategorie bezieht sich auf medizinischen Applikationen und unterteilt sich in folgenden Bereichen: 

o mcdizinischc Diagnostik 
o Gewebezuchtung. 

Die wichtigste Differenz zwischcn den zwei obengenannten Gruppen ist, daB die erste davon Applikationen fur 
die Zukunft erforscht, idcntifiziert und entwickelt. Deswegen ist sie auch mehr experimented Natur lm 
Gegensatz dazu, wendet sich die zweite Gruppe schon etablierten Technologien zu, mtt der Zielsetzung. 
Verbesserung der Gesundheit dcs Menschen. 

Im Jahr 1999 zB haben 1020 Institutionen Elektronenmikroskope gekauft. Davon waren 74/o d.h. 753 
L^onen aus der .ndustrie. 143 d.h. 14% medizinische Institutionen und 122 d.h 12% Akademische 
Forhr g sinstitute. Im sclben Jahr wurden 244000 Lichtmikroskope wie folgt be, den obengenannten 
MaSgSeme verkauft: 52". d.h. .27000 Institutionen aus der Industrie , 48000,00 dh. 20% ^dxzmische 
Institutionen und 69000 d.h. 28% Akademische Forschungsinstitute. Be. der „Confocal Mikroskopie s.nd die 
S^chenden Vckaufe 272 und die Kunden tei.en sich wie folgt auf: 65% d.h. 177 Instxtutionen aus der 
Industrie, ,19 d.h. 7% medizinische Institutionen und 76 d.h. 28% akademische Fors chungsmstrtute^ Diese 
Angaben betreffen den internationalen Markt. Es ist ersichtlich, daB die Anzahl der verkauften Lichtmdaoskope 
iteSSSl der Elektronenmikroskope Uberwiegt Ein Grund dafilr ist, daB der Preis ft* L-h^oskope 
deutlich niedriger als der fur die Elektronenmikroskopie ist. Ein weiterer aber sehr mchtiger Gr^d st die 
Tateache, daB es bisher keine etablierte Methode gibt, welche die Erfassung von e » e ^ one ^ os ^°P^" 
Bildern in dem Sinne erlaubt, daB eine automatische Analyse und Erfassung anhand von Exp«rtenwissen 
( evaluierten Schadensparamete, n") zur Charakterisierung von Gewebezustanden auf der mttazellularen Ebene 
eSglkht. Von enormer Dedeutung ist es zu verstehen, daB die unterschiedl.chen Arten von M^kopie eher 
erganzend und nicht konkurrierend zu einander betrachtet werden sollten. Licht- Konfocal-, ^ultimodak-, 
Ruoreszence - Elektror.cn - Mikroskopie und entsprechend 2D-, 3D-, 4D-, w,e auch 6D- bzw. 
" S^les imauing sind heute Standardanwendungen im biomedizinischen Bereich^ Im speziel len die 
Elektronenmikroskopie wurae entwickelt, da es eine physikalische Limit.erung der L^htmikroskop.e bei 500x 
Oder 1000X VergroBerunu und eine maximalen AufWsung von 0.2 urn gibt. E^^^ 1 ^ 05 ^,^ 
arbeiten im Prinzlp wie dfe Lichtmikroskope, benutzen aber statt einen fokusierten L.chtstahl emen fokus.erten 
£kta^^?EMs fanden ein groBes Applikationsfeld in der Industrie. In den Lebenswissenschaften werden 
EMs ffir sSSelie Anwendungen und dann benutzt, wenn die Lichtmikroskopie nicht die Anforderungen der 
fragestellungbezogenen AutlosLing befriedigen kann. 



Da aber Zytolo°ie und Histologic Wichtigkeit gewinnen, hat sich eine entsprechende Vielfalt von Anwendungen 
gezeS : STldi deutet darauf hin, daB „hochaufgeloste« Bilder im biomedizimschen Markt, von enormer 
Redeutuns in der unmittelbaren Zukunft sein werden. d;i^«^» 
Melstens weln von Bioinformatik - Firmen spezielle Applikationen fur speziellen Arten von 1 Bildem 
enSelt Im Produktportfolio haben diese Firmen sowohl Software w.e auch dazu passende ^dware 
Produkte wie z B MikLkope oder Kameras. Das Angebot an Losungen ist aus dem Bereich Mikroskop, 
auTomaLTe Justierunu. automatische, Kamera - Justierung, Skalierung, Autofokus, Devolution 
Akouis on B id Prozessierung Multimodal^ und Mehrdimensionalitat. D.h. diese F.rmen leben aus der 
^^^boSnKluktportlbl^ -t Schwerpunkt automatische Mikroskopie, B.ld Akqu.s.tion und 
Bild Prozessierung. 

1.2. Was die bisherigen Bildanalyse Verfahren in der Mikroskopie leisten: 

i Inten werden kurz die wichtiasten Anbieter im Bereich Bildanalyse im Biotechnologie erwahnt: 

Sdma^x: D?e Fi nua Sc i magtx ist fuhrender Anbieter von „Image Informatics" - LOsungenffir ^Fcnehun. 

oumagiA. o ciN/fc/TM^i - Scientific Imaee Management System, ist das ersxe 

hXSHTnoch in Entwicklung. Target dieser Produkte ist die Analyse und Speicherung von dte 
mikrrxjkonische Bildern Beide Produkte sind noch nicht auf den MarKt. 

T «ueInformatrc Inc Die Firma entwickelt automatische Gewebe(Tissue) - Imaging - Systeme, a^omatische 
^^^nas md BUdan lyse Software. Das entsprechende Produkt fUr Bildanalyse heif* Quant(TM) und 
^feTsXare fools zur automatischen hyper - quantitativen Analyse von Gewebe ,m Histologieberetch. D,e 

2 ^S^Ebine l„ ihrem Produktportfolio gehort eine breite Palette von Produkten sowohl fiu Je 

IT^^A^sTSS Firma ist ein Spezialist im Bereich von Bildanalysesystemen. Das 
HaU-dukt derFirma nna.yS.S(R) bietet fur den speziellen Bereich Life Science folgendes Modul: 

^"^Auto matische Analyse und Klassifikation von Proben bei Uber 80 vordefinierten MeBparametern. 
. Definition von ROI's (Regions of Interest) automatisch oder manuell. 

• Analyse von biologischen Prozessen Uber die Zeit. 

• Werkzeuge fur Analyse von Fluoreszenzmikroskopie Aufhahmen 
. Analysieren und Bearbeiten von markierten Proben 

. Aufzeichnung der Bewegung von markierten Proben Uber die Zeit (timelapse) 

• Bildverbesserung . „... 

. Analyse von markierten 1 mmunogold - Proben fur elektrom.kroskop.schen B.ldern 
. Vergleich von Spots bei 2-D Gel - Elektrophorese 

In Koope^on mit Mikroskophersteller bietet die Firma zu ihrer Software dazu auch entsprechende Hardware 

S 5SS2S.h Bildanalyse * das Labor und la! n,=™„ aehr erf.lg.alcK in 
dem Bereich wissenschafihche Bildanalyse. 

SSt taST- dissociates image Content Technology, Image Metrology, Imaging Research usw 
KSrSseTpirmen bietet ein Produkt zur automatischen und objektorientierten w,e auch multiskalaren 
BUdlalyse fU den biomedizinischen Bereich oder speziell fur die Elektronenmikroskopie. 



Insgesamt ftihrt eine verglcichende Betrachtung der oben genannten Firmen zur folgendem Ergebni: 



Die Firmen lassen sich in drei HauptL-i uppen w ie folgt zusammenfassen: 

. Anbieter von Bildanalvse Software mit allgemeiner Anwendungsmoglichkeit (nicht nur speziell fur den 
biomedizinischen Bereich) wie z.B. Soft Imaging Systems, Clemex, Empix. Diese sind eher auf 
industriellen Amvendunuen spezialisiert und entwickeln spezielle Lasungen gemeinsam mit dem 
ieweili«en Kundcn. Life Science hat bei diesen Firmen in der letzter Zeit an Bedeutung gewonnen. Die 
Firmen" konnten als Konkurrenten ftir Definiens AG gelten, haben aber nach unserer Erfahrung 
technologisch gesehen nicht die Kapazitaten speziell in den Bereich Elektronenmikroskopie intensivst 

. Wert Kene Intersiratorcn (Value Chain Integrator), welche die Bildanalyse als einen ProzeB innerhalb 
eines Workflows'anbieten. Diese sind meistens Automatisations - Experten im Bereich Hardware, wie 
zB Mikroskope Videos u.s.w. wie z.B. Tissueinformatics, Scimagix, Cellomics, Media Cybernetics. 
Diese Firmen konnten als potentielle Partner ftlr Definiens gelten, da Definiens ihnen „state of the art 
Bildanalvse als Tcil eines intcgrierten Systems von Prozessen anbieten k6nnte. 

. Application Specilic Plavers (Applikationsspezifische Entwickler): Diese Firmen haben als Fokus nicht 
die Bildanalvse. bmuchen aber eine sehr spezielle Entwicklung davon, fur Forschungs- bzw. 
Diaanostische Zwccke. Diese Firmen haben meistens nicht die Kapazitaten selber solche Software zu 
entwickeln, aber die Entwicklung findet in Reoperation mit anderen Partnem stan. Solche Firmen sind 
TriPath, Applied Imaging Systems und IRIS. Diese konnten als potentielle Partner fur Definiens gelten. 

KUn ? nF B 0 a k sic Research (Grundlagenforschung): Die Firmen, welche sich bei ihrem kommerziellen Angebot auf 
akademische Laboratorien fokussieren, haben ihre Software - Applikationen anhand von einer Anzahl 
von unterschiedlichen Projekten, diversifiziert. Deren Ziel ist es, dem Kunden zu helfen, selber 
Applikationen zu entwickeln. Die entstandenen Losungen sind nicht vollig automatisch, sondem eher 
semiautomatische Software Tools, sehr speziell und spezifisch. Die Applikationen sind mit Hilfe von 
Forschern entstanden und deswegen erfolgte ein schneller und erfolgreicher Marktemtntt. 
. Biotech - Pharmn Industrie: Diese Firmen, welche als Kunden auf die Biotech-Pharma - Industrie 
fokusieren, bitten meistens ..allgemeine" Applikationen. Sie haben sich vorgenommen und versprochen 
einen wesen.lichen Beitrag zur Entwicklung von Medikamenten zu liefern, stehen aber zur Zeit vor der 
Aufgabe richtige Erfolge zu zeigen und einen erfolgreichen Markteintritt durchzuftihren und zu 
bewaltigen. 



2. amoBi2 

2.1. Technologische Ausgangssituation: 
eCognition Geo: 

Die technologische Ausgangssituation fur das Modul amoBi2 „Bildanalyse von ele ^°^^° 0 P ^^ 
Auftiahmen der Leber", war wie im Forschungsantrag beschneben wurde die p efmie ^ Software *Cogn "on 
fur den Geo - Bereich. Urn die Entwicklung dieser Software genauer verfolgen zu kdnnen, empfiehlt es sich, 
eine kurze Beschreibung dieser Software zu geben. ...» ti^„„u; 0 a 

eCognition basiert auf einem neuen Ansatz zur objektorientierten Bildanalyse. Der wichUgs e Unterschied I zu 
pixeCrten Verfahren ist, daB eCognition nicht auf Pixeln - sondem auf W^J^JS 
ObiekS imitiven basiert. Diese Objektprimitiven werden bei der Segmentierung des Bildes erzeugt. Fur d.esen 
Zweck w™de ein neues patentiertes Verfahren entwickelt, welches Multiresolution Segmentierung genannt w^d 
und im Text unten in kurzer Form beschrieben wird. Die Multiresolution Segmentierung ermoglicht die 
Segmentierung des vorhandenen Bildes in einem Netzwerk von homogenen Bildreg.onen be, jeder vom 
BenXer aewlhlten Aullosunu bzw. Auflosungen. Diese Bildobjektprimitiven reprasentieren B.ldinformation in 
einer Tbsfra^ Als klassif.zierte Informationstrager innerhalb eines Bildobjektnetzes, bieten diese 

Obiekte Vorteile i»egenuber klassillzicrten Pixeln. 

. AuBer s^ktraler Information, beinhalten Bildobjekte eine Vielzahl von Attributen, welche zur 

Klassifikation benutzt werden konnen wie z.B. Form, Textur und als vernetzte Objekte e.n groBes Set 

von Kontext - Information. 



. Die Multiresolution Segmentierung teilt benachbarte Regionen .nnerhalb des Bildes auch be, 

texturierten Bilddnien. Deswegen ist eine Analyse von solchen Daten auch moglich. 
. Die Multiresolution Segmentierung bietet die Mbglichkeit Bildobjekte an gegebene Fragestellungen zu 

. SdiearoCe Anzahl der Attribute von Bildobjekten ist eine robuste Klassifikation moglich. 

. Die Sel'mentierung reduziert wesentlich die Anzahl der zu klassifizierenden Objekte. Dies macht erne 
schnelle Klassifikation des Bildes moglich. 

. Durch die Mo-diehkcit Bildobjekte in unterschiedlichen Auflbsungen zu erzeugen, kann ein Projekt e.n 
hie arch sches Nctr von Objekten bei unterschiedlichen vemetzten Objektebenen beuiha ten. D.ese 
KflSel und beinhaltet Bildinformation in unterschiedlichen Ska.enbereichen gleichzeitig. 
Diese unterschiedlichen Objektebenen konnen relativ zu einander analysiert werden 

. FUr e abor ertere Untersuchungen bietet eCognition die M6glichkeit der klass.fikat.onsbas.erten 
Segmenderung. Anhand der Klassifikation konnen unterschiedliche Typen von Objekten miteinander 
fuslonieren, sich spalten. sich umgruppieren. mft „i; rh 

. Uber dis Fuzzy - Klassifikarionssystem wird eine breite Informationsausbeute uber das Bild moghch_ 
Dadurch ist z B en schneile Klassifikation als fuzzy ..Nearest Neigbour" Klassifikat.on („cl,ck and 
SsifyV msglich. Ebenso wird dem Benutzer ermoglicht, Konzepte und Wissen ,n emer schnellen 
und einfachen Form uls Regelsatze zu formuheren. 

. Aufie den Objekfmerkmalen sind klassenbezogene Merkmale definierbar. Diese erfcuben 2.B. den 
A^stand ernes Objektes von einer vorgegebenen Klasse zu bestimmer, Ebenso w«d*m Benutzer 
ermoolicht neue Merkmale als Kombination der in der Software vorhandenen zu definieren. 

. Z £ Mu.tisource Data Fusion" ermaglicht eCognition unterschiedliche Arten yon Da en^en 
uTerhalb'eines Projektes miteinander zu kombinieren. Diese werden als unterschiedliche Layers mi 
selben Projekt geladen und konnen vielfaltig miteinander kombiniert, bearbeitet werden. 

. Stafistische Erftssung: Dies wird nach der Klassifikation durch eingebaute, elabonerte Statistik 
WerkzeuS unters utzt Fur jedes Objekt, fur jede Klasse ist es moglich Merkmale auszuwahlen und 
SSZtSlTS erfassen.^in Export der statistischen Ergebnisse im CSV - Format wird von der 

. Srerg^isse wie z.B. Klassifikationsergebnisse konnen exportiert werden. Dies ermSg.icht das 

<;™»irhern der bei der Analyse des Bildes erzielten Resultaten. 
. Automadsierung: A lie Bi.dana.yseschritte konnen Uber ein Protoko.l erfaBt und automatisch, 

nacheinander an weiteren, ahnlichen Bilddaten angewandt werden. 

Das im Geo - Markt existierende Produkt hat zwei wesentliche Bestandteile: 

• Objektnetz (Netzwerk von Bildobjekten) 

• Semantisches Netz( Klasse nhierarchie) 
Fur die Segmentierung gibt es zwei Algorithmen: 

• Multiresolution Segmentierung 

Definition der Merkmale werden Fuzzy - Zugehohrigkeitsfunktionen benutzt. 

In der Biomedizin sind die zu nnalysierenden Bilddaten: 

• Hochtexturiert. Beispiel:. elektronenmikroskopische Bilder 

• Liegen oft nur im Grauwertbereich vor 

• Es gibt keine kontrastreiche Abtrennung zwischen den Bildobjekten 

• Die Qualitat der Bilddaten ist oft minder. 

. Die zu bearbeitenden Datenmengen sind meistens enorm z.B Phamazeutisch^ ■ 

• Sehr oft interessieren den Benutzer nur bestimmte Bildobjekte (..Objects of Interest), fame 
IXrleTSJ^ automatische Bildanalyse, we.che sich nur ^^f^^XSSS^ 
Bearbeitungszeit. reduziert die zu bearbeitenden Datenmenge enorm und erhoht die Robusthe.t der 

. T::lTJ:^ n ^ segment zur der Bilddaten 

benotiot welche dann auch beliebig und je nach Bedarf miteinander kombmierbar sind. 
. Das Problem der Ubertragbarkeit von Segmentierung und Klassifikat.on ist vor allem be, 

im Geo "JESSES ^^Z^^o mm ^n Satel.iten mit einem Auf,5sun g svermo g en 
von bTs "ume Vn wie z KONOS, liefern Bilddaten die hochtexturiert und panchromatisch sind. Be, 4m 
r fl0 lg hefe r MKOnSs z.B. drei Wie in Rot- GrUn - Blau Bereich. Kombination von B.lddaten zwischen 



in, und 4m Aullosung is, moglicl, Fragestellungen wie z.B. StraBenextraktion stoBen bei solchen Bilddaten an 
die Grenzen des Moglichen. 



eCognition Cvtaron: 

All diese Tatsachen habcn dazu gefuhrt, eine entsprechende Erweiterung der vorhandenen Software 
vorzunehmen. Folgende wicluige Elcmente dieser Erweiterung sind zu nennen: 

1. - Software -Architektur Erweiterung: 

o Einluhrung von vier Domanen: 
Die ProzeBdomane 

• Die Bildobjektdomane 

• Die Klassendomane 

• Die Algorithmendomane 

o Einfilhrune eincs IVozeBnetzes neben dem setnantischen- und dem Bildobjektnetz. Prozesse 
beinhaltcn Objekt -.Klassen - und Algorithmendomanen und bdden e.r, ' P^eBnet z_ 

2. Mdglichkeit des sc.lektiven und lokalen Wirkens von Prozessen, d.h. nur auf best.mmte Objekte bzw. 
Klassen „Objects bzw. Klassen of Interest". 

3. Einfuhrung prozeBbasierter Merkmale. 

4. Segmentierung: 

: T^XT^S^^^-^ — » - « 
. JSSZJX?SSSS5SSL von S* gm «—ri,h m „ innerhalb =,»=, 

Im Bild .1. wird Aufbau und Wirkungsweise von Domanen und Prozessen skizziert. 

Zu 1: Domanen, ProzcBdomiine, Bildobjektdomane, Klassendomane, Algorithmendomane: 

S^p" " OP-ion innerhalb eines Projektes zu beschreiben, 

und setzt sich zusammen aus den Anworten auf die Fragen: 

o Was soil passiercn d.h. welcher Algorithmus soil benutzt werden. 

o Wo sol es passiercn d.h. welches Bildobjekt bzw. welche Bildobjekte sollen behandel werden. 
o Unt* welcher K, i.erien sol. es passieren d.h. welche Klasse oder welche Klassen sollen dabe: benutzt 
werden. 

• ausgewahlten Objektes innerhalb des Bildobjektnetzes angewandt werden. 

Bild 2. zeigt die entsprechenden Benutzerschnittstelle (GUI) fur Objekten, Klassen und Prozessen. 

Vorteil ist, daB zur Bildanalyse ein iiberschaubares Workflow aufgebaut werden kann. 

ProzeBdomanen: Die ProzeBdomanen wurden aus Symmetriegrilnden und zur Analogie von Objekt- und 
Klassendomanen eingefuhrt. 

Die Bildobjekulomanc beinhahet a.le Bildobjekte innerhalb des Projektes. Folgende Bildobjektdomanen 
wurden bisher im Programm implcnientiert: 

. Just execute: Objektdomane in der das Programm gerade arbeitet ... 
. Image Object Level: hier kann die Hierarchieebene ausgewahlt werden, auf welcher em ausgewahlter 
Algorithmus innerhalb eines Prozesses angewandt werden soil. . n 

. Neighbour Objects: Dami. konnen Nachbarschaftsobjekte .n e.nem best.mmten Abstand (m Pixel) 
einerocler mehrerer Objektklassen ausgewahlt werden. 



. Sub Objects- Damn werden Unterobjekte einer bestimmten Objektklasse ausgewahlt. Ein Abstand in 
Anzahl ' on Onjektehencn kann angegeben werden. D.h. die Selektion der Unterobjekte beschrankt sich 
nichtatifunmitteibareiNachbarschaftvonHierarchieebenen. 

. Supe. Objects: Damit werden Oberobjekte einer bestimmten Objektklasse ausgewahlt. Em Abstand m 
Anzahl von Obicktebenen kann angegeben werden. D.h. die Selektion der Uberobjekte beschrankt sich 
nichtnuraufdiennmittelbarcNachbarschaftvonHierarchieebenen. _ „ 

. Innen Border. Damit kann als Objektdomane der Innenrand von Objektklassen als Objektdomane 

. AuBen BorderDamit wird Jer AuBenrand von Objektklassen als Objektdomane ausgewahlt. 
Im Bild 3. sind die schon in der Software implementierten Objektdomanen zu sehen. 

H« m w heinnnlicn alle Kiassen der Klassenhierarchie innerhalb eines Projektes. Eine oder mehrere 
SrSnnen °^T^^s Algorithmus auf bestimmten Objekten innerhalb eines Prozesses 
ausgewahlt werden. 

Aleorithmendoiniine: . 

Folgende Algo. i.hmen wurden bisher in der Software implementiert: c tammhalim Pr0 zel3 fur 

. Do nothing:LaB« Objekte und Kiassen unbeeinfluBt und d.ent me.stens als Stammbaum - ProzeB fur 

. ^^S'fiS^bj*. einer ausgewahlten Objektdomane anhand ausgewahlter Kiassen 

' . Z^O^^^W* die Fusion von Objekten bestimmter Kiassen innerhalb einer 
^ewShen oiiktdomane* Fusionskriterien sind vom Benutzer ausgewahlte Merkmale der 

. werden morpndogische Prozesse wie Dilatatior i E^ion und Extraktion 

(betrifft Unterobjekte. welche nicht am Rand eines Oberobjektes hegen), durchgefhhrt. 

. Make Waller Objects: Scgmentiert ein Objekt in kleine Quadrate emer vom Benutzer angegebenen 
Seitenliinge (in Pixel). 

• Multiresolution Scgmentierung (siehe unten) 

• Contrast Segmentienmg (siehe unten) cc Rnnrrl - 
. Edit intake object level: clabei kbnnen sowohl selektiv die Quadtree - oder die Chess ; - Board 

Lgmemierung She unten > angewandt werden oder Objektebenen konnen neu gebildet oder geloseht 

. Hnfenclosed bv class: Es werden Objekte klassif.ziert, welche von einer oder mehreren vorgegebenen 
Objekten einer Objektklasse innerhalb einer Objektdomane eingeschlossen sind. 

. S enclosed bv Objekt: .Her werden wie oben Objekte klassif.ziert welche von emem bestimmten 
Ohlekt innerhalb einer vorucizebenen Objektdomane eingeschlossen sind. 

. ^oiu?Sl!l!m;,: FindetVas Extremum (Minimum oder Maximum) innerhalb eines Objekts bezughch 

. S^'^^Minim. oder Maxima bezUglich eines zu wah.enden Merkma.s innerha.b 

. ConL^^lwet Objekte von ausgewahlten Kiassen via andere Kiassen zu auswahlenden Kiassen, 
bei gleichzeirigor Optimierung eines zu wahlenden Merkmals. 

Eta Erweit.runz der Anzahl de, nngebotenen Algorithmen ist moglich. In Bild 4. sind die bisher implementierte 
Algorithmen aus"der Perspekiive der Benutzerschnittstelle zu sehen. 

Z« 2:Moglichkei. der Inhnlen Wi.kung von Proven, d.h. uur auf bealmm.e, i-nerhnlb einea Prozeaaea 

mS^e^^^^ 

StraBenextraktion von Rclovanz sein. . f Interest « betreffen und sollte dazu dienen auch 

ZuufiS tf A n^ eutTszene dher „Obj.c of in.ereaf. wurden un.er A.derem foigende 
G rundstrategie i . crsc haft o n : 
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. Modichkeit der gezielten und lokaten Anwendung alter Algorithmen. Das Attribut „lokal» betrifft hier 
sowohl das Bilohjekt- wie ;mch das semantische Netz. 

• Beliebigc Kombination von Algorithmen miteinander. 

• Aufsteliuna einos „DreieckspiozeBes": 

n Fs werden drei Klassen von Objekten definiert: Seeds, Candidates, Targets: 

o Es w f ,dc ^ : K b ^. effen die J Keimob jekte" aus deren Entwicklung sich die Targets ergeben 

- Candidates: sind Nachbarobjekte von Seeds mit bestimmten Eigenschaften. Seeds 
kfinnen z B mit Candidates fusionieren. . 

. Targets : .tad die „Objects of Interest", die Klassen welche die zu findenden Objekte 

- b Mela"tar b g e e is-' entstehen durch morphologische Operationen zwischen Seeds und 

o Fs wird dn Abstand im Merkmalsraum zwischen „Metatargets" und Targets definiert. 
o 7ieM / B uber morphologischen Operationen zwischen Seeds und Candidates, Objekte d.h. 
Mltauu'ets" zu bi.den, de § ren Abstand zu Targets sich kontinuierlich verkleinert, b,s e.ne 
«ewissc Obereinstimmung d.h. Abstand zu den Targets erreicht ist. 

„Und». Esh.ndd. sich also ""^^S,,,,, ProzeBhierarchie und verbid d.r 
Bilddaten. Diesc Tatsachc dient wesentlich der Automatisierung der Bildanalyse. 

Moglichkeit, vveiiere Merkmaie zu erstellen. 

Projektes anweiuibar sind. 
Multiresolution Segmentierung: 

Dieses Verfahrcn erzeu,t Bi.dobjekte durch sukzessives paarweises „Merging". D<e „paarweisen Merges 
werden als Fusionen bezeichnet Kleinere Objekte werden Schritt fur Schritt zu groBeren fusioniert. Die Fusion 
von zwei Objekten wird mit ..Kosten" bewertet, die den resultierenden Jnformationsveriust" widerspregeln 
sollen. Es werden solange Fusionen durchgefthrt, bis die Fusionskosten eine vordefinierte Schwelle (Scale 
Parameter) Uberschreiten. 

Die Fusionskosten berechnen sich aus einer gewichteten Summe eines Farbanteils und eines Formanteus. Der 
Farbanteil wird definiert durch die Anderung der Standardabweichung gewichtet mit der GroBe, der Formante.l 
durch den Vcrclcieh der Knndlange mit So.lwerten abgeleitet aus GroBe und „BoundingBox" der Objekte. 
Durch eine lokalc Suchsn ategie wird gewahr.eistet, daB stets Objekte fusionieren, fur we.che die Kosten lokal 
minimal sind. 
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Fttr die generclle Beschreibung siehe auch eCognition User Guide 3.17ff, eine exakte Definition der 
Kostenfunktion tindet man in eCognition User Guide 3.22 

lm Anhang enisprechende Publikation: Baatz, M. & Schape, A: Multiresolution Segmentation - an 
optimization approach for high quality multi-scale image segmentation. Strobl, Blaschke & Greisebner (Edts): 
Angewandte Geographische Informationsverarbeitung XI. Beitrage zum AGIT-Symposium Salzburg 1999 



Kontrast Segmentation: 

Das Verfahren hat groBe Ahnlichkeit zur Multiresolution Segmentation. Es verwendet jedoch eine andere 
KoJtenfuntion und'versucht statt lokal, global minimale Fusionskosten zu erreichen. Als Abbruchkntenum 
dient die aktuellc mittlero Objektgrofte. 

Kostenfunktion: 

Fusionskosten k = f* |m, - m 2 | 

f = 4 min ( r,, r : ) falls r, und r 2 < 0.5 
f = 2 max ( r,, r : ) falls r, oder r 2 > 0.5 

m: Farbmitteiwett 

r: relative Kantenlange der Beruhrkante der fusionierenden Objekte 
f: Formfaktor 

Mit a ist Gewichtung des Formfaktors bezeichnet. 

Statt mit lokaler Suche arbeitet das Verfahren in „Durchlaufen". In jedem Durchlauf werden die n besten 
Fusionen ausgefuhrt. Je grOBer n desto schneller arbeitet das Verfahren, dabei nimmt jedoch die Qualitat der 
Resultate ab. 



Quad-tree Segnientierung: 

Dieses Verfahren erzeugt einen Quadtree. Dabei werden je vier Quadrate zusammengefasst, wenn gilt: 
max color - min color < 6 

Das Maximum und Minimum wird dabei jeweils ttber alle Pixel des resultierenden Quadrates ermittelt. 
Chess Board Segnientierung: 

Dieses Verfahren erzeugt Quadrate gleicher GroCe. Die GrbBe der Quadrate ist dabei frei wahlbar. 
Implementierung einer multiskalarcn und klassifikationsbasierten Segmentierung: 

Neben den beschriebenen globalen Segmentierverfahren, gibt es die Moglichkeit Bildobjekte anhand .hrer 
Klassifikation zu kombinieren. Dazu konnen Bildobjekte fusioniert werden, ihr Ober - Objekt wechseln 
(Randoptimierung) ode. lur sich ein eigenes Oberobjekt (Extraktion) erzeugen. 
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Werden diese Verfahrer. /.usttzlich mit einer Kostenfunktion bewertet, so ergibt sich hier ein breites Spektrum 
leistungsfahiger und adaptierbarer Segmentieralgorithmen. 

Die Obenoenannten Seumentierverfahren kbnnen innerhalb eines Projektes miteinander ^^^.^Her 
SegmenSalsorithmen werden als Aigorithmen innerhalb von Prozessen emgefuhrt. D.ese Einbmdung diem der 
Flexibility und Robusthcit der Analyse. 

Bild 6. zeigt ein. 13eispiel aus der Anwendung der vorgestellten Software zu automatischen StraBenextraktion. Es 
handelt sich hicrbei urn cinen Ausschnitt aus einer KONOS - 

Szene B ev c r 0 „nty. Florida, USA), Auflosung 4m Multispektra. und 1m Panchromat.sch, resamp led auf 4m 
D Te Dafen wurden Definicns AG von Sate.liten Betreiber Space Imaging Inc.zur VerfUgung gestellt. StraBen 
sind in rot dargestellt. Die Bildanalyse wurde von Prof. Dr. G. Binmg durchgefuhrt. 

2. 2. Die speziclle Anwendung auf elektronenmikroskopische Bilddaten 
(amoBi2): 

nie oben beschrieben Software zur Bildanalyse wurde wie auch im Forschungsantrag amoBi2 beschrieben ist 
SeS^rnmSSSpische Bilddaten angewandt. Dabei wurden Prozesse entworfer , welche spezie.l zur 
I'L von medizinisch relevanten Objekten filr die Definition von Schadensparametern dienen 
' ^ImrZt^n, Qbertragbaren Klassenhierachien zur Analyse der e.ektronenm.kroskop.schen 

Sprite Mitoehondrien, Nucleus mit Euchromatin, Heterochromatin und Nucleolus, , Lysosomen, Vacuolen. 

Sinusoid mit Lumen, Endothelzelle, Disse Raum und Mikrovilli. Allfn!lhmP von Lebereewebe der 

Rild 7 z ei „t cinen ori<.inalen Datensatz d.h. elektronenmikroskopische Aufnahme von Lebergewebe aer 
Sprague Doric" Ra«e = Dabei wird auf die wichtigsten Objekten, soweit sie im B.ld vorhanden sind, zur 
Definition von Schadensparametern verwiesen. 

Sinusoide sind weite Kapillaren, in denen das Blut innerhalb der Leberlappchen v on den Vv. u. Aa. 
interiobulares in Richtunsi Zentralvene HieBt (Arbeits - und Ernahrungskre.slauf der Leber)_ 
Sis Lumen im Sinusoid ist der Aufenthaltsort lebertypischer Makrophagen der K^^taL S e J.egen 
normalerweise den Endothelzellen an, die das Lumen vollstandig auskleiden, aber gpfenstert sind Die 
FenTst^u gen ohne Diaphragmata verbinden das Lumen mit dem Disse - Raum, dieser hegt zwischen 
Endothel und 1 eberzellen und ermoglicht den Stoffaustausch zwischen Blut und Hepatozyt. 
" S^Uber^l^^^^ sowohT eroBe, runde Zellkerne wie auch viele Mitoehondrien vor. Mitochondnen 

SSSSl der Bereitstellung von Energie. Primare Lysosomen enthalten lytische Enzyme vc » allem 
Su^XTscn Sie bauen u a zelleigenes Material ab (Autophagic). Das rauhe endoplasmatische Reticulum 
S Sme t Pro' ein die an den an'seiner Aussenmembran verankerten Ribosomen ^f^^.^ 
S T^onvesike., die zum Golgi - Apparat (sehr se.ten in Aumahmen zu finden) und zur Zellmembran 

DerGrauwertbcreich der elektronenmikroskopischen Bilder bildet wie folgt den Grad an Elektronendichte der 
^SS^m^^SSSm^ Objekte: bei groBer Elektronendichte erscheinen die Objekte dunkel be, 
S^S^SSu*te erscheinen die Objekte hell. Die E.etoonendichte von Lumen ist z.B. genng, wobei d* 
der Lysosomen hoch ist und deswegen erscheinen diese im Bild relativ dunkel. 

Was eCognition - Cytaron bei der Analyse von Elektronenikroskopischen Bildern 

In'^dem Bericht werden die Ergebnissen aus 9 Trainingsbi.dern und 10 Testbildem 
(Klassifikationsgenauigkeitsanalyse) besprochen. 
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E^nS^op <S=h„i») wi= „,c„ bd de, I ^^"^'^^^ a bg eschlos«n=n 
wiezB Operation unci Transplantation der Leber beschaftigen. 



Diese wurden di 

prasentiert unci mchrmals bestatigt 
Ausbeute erzieh werden kann. 

n^xwmipnin" der Bilddaten: . _^ 

£ wmTober den Helligkeitsw ert der Pixel innerhalb des jewe.hgen B.ldes norm.ert. 

Xnorm = 127 + (X - Xmittel) / StdV 

Wobei Xnorm: der nor.nierte HeUigkeitswert von, aktuellen Pixel, Xmittel: der HeUigkeitsmittelwert Uber das 
gaSe Bild StdV: die Standard Abweichung der Helligke.t Uber das ganze B.ld, .st. 

• Smcn UsSnd umgeK L. Lumeninhafte treten meistens bei behandeltem Gevvebe auf. 
. D^r He' icht beschrlnkt .ieh auf die typischen und wesent.ichen Objekte, welche sowohl be.m 
behanddten wic auch beim unbehandelten Lebergewebe zu sehen sind. 

EjrFrH' Piozessen am Beisoiel v on Suchen" und Finden" von Mitochondrien im Bild: 

Urn diese Problcmatik zu losen wurde folgender Ansatz gew ahlt: 

1 Segmentiere das Bild bis zu einer gewissen (sehr kleinen) Schwelle 

t ^^T^^t^rl^ a****, und Mi die Jeweils J— • 

6. SrsS,T"-5 w.,d» so S e wtataho* bis die dO.ll. Schw.U. =m<n drfintan Endw.r. 

Qberschreitet. _ . 

Mitochondrien werden dabei nach folgenden Kritenen beurteilt: 

1. Farbemittelwert liegt im Bereich [50... 150] 

2. Grofte (Anzahl Pixel) liegt bei dieser Auflosung im Bereich [500...4000] 

3. Die Form ^u»\ 

mogliehe Mitochondrien (Kiasse ^perhaps a mitoch ) 

i. Elliptic Fit ist groBer als 0.8 
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ii. Elliptic Fit Shape Index ist groBer als 0.5 
b. sichere Mitochondrion U<lasse „final mitoch 2") 

i Elliptic Fit / Shape Index ist groBer als 0.6 
4. mogliche Mitochondnen werden zu sicheren Mitochondrien (Klasse „flnal mitoch 1"), wenn sie 
beginncn sich wahrend der Segmentierung zu verschlechtern. 

Ellip tic Fif dieses Merkmai wird aus der Covarianzmatrix der Pixelkoordinaten des Objekts bestimmt Nach 
Berechnuno v0 „ Eigenwerten und Eigenvektoren werden die Eigenvektoren normiert und justiert, so daB daraus 
das Objeklkoordinatensystem bestimmt werden kann. Daraus wird die Boundingbox des Objekts bestimmt 
worauf dann cine Ellipse gezeichnet wird, deren charakteristische Eigenschaft ist, daB sie diejenige Ellipse ist, 
deren Achsen - Verhaltnis dem Verhaltnis von Lange durch Breite der Boundingbox des Objektes entspneht. Sie 
hat die selbe FKiche wie das Objekt. Zentrum der Ellipse ist der Schwerpunkt des Objekts. Man zahlt dann, wie 
viele Pixel des Objektes innerhalb der Ellipse liegen: 

f = Pixji des Objektes in der Ellipse / Gesamt Zahl der Objektpixel 
Der Elliptic Fit ist dann als: 

2f-i fails f>0.3 
0 sonst 

definiert. 

Shape Index: dieses Merkmai ist als die Randlange des Umfangs eines Objektes dividiert urn das Vierfache der 
Quadratische n Wurzel aus seiner Flache. Der Shape Index ist als MaB fur d e G atte der Kontour des Objekts 
definiert. Je glatier die Kontour urn so kleiner der Wert vom Shape Index. Sein Wert hegt uber 1. da der Shape 
Index eines rasicrnarailcien Quadrates den Wert 1 hat. . n<1 ■ 

Die Bilder 9 bis 13 zeigen als Beispiei imterschiedliche Iterationsschritte be.m Auffinden von Mitochondnen 
und den entsprcchenden ProzeBbaum, Rcgelsatz, Zwischen- und Endergebnis aus den Tramingsdaten. 

Bilder 14 und 15 zeieen auch reprascntativ fur die Trainingsdaten die Ergebnisse aus der Anwendung der 
aufgestellten Prozcssen fUr Lumen, Zellkcrne, Sinusoid und Leberzellkerne. 

Soweit es dem Forschungsteam bekannt ist, sind Ergebnisse ahnlicher Qualitat auf EM - Bilddaten aus der 
Literatur nicht bekannt. Die Qualitat dieser Auswertungen laBt sich auch an den Testdaten, wie unten 

S^^t^rhST^irSJ'der vorgcsrcllten Software die Moglichkeit ahnliche, oder eigene Prozesse zu 
entwickeln und an unterschiedlichen Bilddaten anzuwenden. 

Die Genau-mkci: der Bildanalyse unter Anwendung des oben beschrieben Verfahrens wurde bei einem 
automatischen Test an 10 EM - Testbildern untersucht. Das Untersuchungsverfahren und die daraus 
gewonnenen Ergebnissen werden unten prasentiert. 

Benchmark: 

GrundUberlegung zur Erstellung eines Benchmarks fur die speziellen Anwendung an EM - Bildem der Leber: 
. Es gibi bisher keine vollautomatische Bildanalyse Software fur EM - Aufhahmen der Leber 
• Es gib! bisher keine: 

o Multiskalare 

o Objektorienterte 

Bildanalyse Software urn einen direkten Vergleich zur ermSghchen 

. Wir haben Experten (Mediziner) die sich intensivst Uber Jahre mit den von uns ausgewerteten Bilder 
beschaftigt haben und eine visuelle Auswertung mehrmals durchgefuhrt haben. 

Folglich sollte die Software direkt mit einer durch den Mediziner ausgefUhrten Auswertung vergiichen werden. 
Deswegen haben wir folgende Vorgehensweise gewahlt: 

Die Vorgehcnsweise beim Benchmark: 
Testset: 

- 1 1) Bilder 

- Scannen. 800 dpi 
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Kunterscalieren auf 25 %. bicubisch 
Normieren 



• Maskcn Erstellung durch den Mcdiziner: 

- Erstellen mit PaintshopPro 

- Bild laden 

- Ein Grauwert fur eine der folgenden Klassen ( ein Zahlenwert 

fur eine Farbe -> Exelltabelle zum Festlegen der Werte): 
Maskenklassen: 

Mitochondrien 
Nucleus Leberzellc 
Sinusoid 

Nucleus im Sinusoid 
- Lumen 

• Maskc und Original im Programm laden, 

Analvse auf das Original durchluhren . Mfl . 

• VcnHcich zwischen den Ergebnissen aus der automatischen Analyse am Original und der Maske. 
Dieser Ver«leich wird automatisch von der Software durchgefuhrt. 

• Statistische~Erfassung des Vergleichs, wird von der Software automatisch durchgefuhrt. 
- Die siatistische Erfassung erfolgte zur jeweiligen Objektart: 

o Objektname 

Drei Klassen von Treffern: 

1 . Richtig 

2. Falsch positiv 

3. Falsch negativ 

Objektbasicrtcr Benchmark (Accuracy Assesment) mannellen Auswertung 

Bild 16 zeigt den objektweisen Vergleich der automatischen Auswertung mit emer manuellen Auswertung 

(Maske). 
Verfahren 

Fur jedes Biidobjekt A 

u f u c nhipkt Ma in der Maske mit maximalem Uberlapp, d.h: 

1 ■ S fTZ UnW* — oAle Maskenobjekte M. M A heiBt das zu A gehSrende Maskenobjekt. 

2. fur M/ berechne 

a. 3 A 855 Area(AO M A ) / Area(A) 

b . S M = Area( AO M A ) / A rea(M A ) 

3 ' ^"gchOrt Ma zu einer anderen Klasse als A (K(A)*K(M A )), so gilt A als falsch positiv 
gefundenes Objekt 
b ist Sa < /z, so gilt A ais falsch positiv gefundenes Objekt 

c. " ist » M < '/*, so ist A zwar richtig, reprasentiert aber nicht das Maskenobjekt in ausreichender 

Weise (A ist ein Teilstuck von M) 

d. gilt 3 A > ft und 3 M > Vz , so gilt A als richtig gefundenes Objekt 

3 A < '/ 2 : Das rote Biidobjekt ist erheblich groBer als das grttne Maskenobjekt. 
Das rote Biidobjekt gilt als falsch positiv. 




// \ s B < - Das rote Biidobjekt ist erheblich kleiner als das grune Maskenobjekt. 

A Die Klassifikation ist zwar nicht falsch, doch das zu findende Objekt wird 

J nicht richtig wiedergegeben. 
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Definition ilcr Bewertungs Parameter 

1 mask objects: Anzahl der Objekte in der manuellen Auswertung 

2. resi.lt objects: Anzahl der Objekte in der automatischen Auswertung A ._™, * 

3 mean overlap: Mittelwert der 9 A fur alle Objekte A mit richtiger Klassifikatic ^ ( d -h. K(A)-K(M A ) 

4 correct hits: Anzahl richtig gefundenen Objekte (9 A > 0.5 und 9 M > 0.5 und K(A)=K(M A )) 

5 mean overlap: Mittelwert der 9 M liber alle richtig gefundenen Objekte 

6. falsch positiv: Anzahl aller false!! positiv gefundenen Objekte ((9 A < 0.5 oder K(A)*K(M A )) 

7. falsch negativ: mask objects - correct hits 

We '7" eS schwellon ^ natOrUch auc h beliebige andere Werte als 0.5 denkbar... 

2. Far die Klassen Endothel, Lumen und Nucleus wurde fur Maskenobjekte e.ne M.ndestgroBe von 10.000 
Pixcln angesetzt 

Piveibasiertc Bewertune der Klassifikationsgenauigkeit (Accuracy): 

Zur S si erten Genauigkeitsmessung der Klassifikation werden zwei MaBe benutzt Es wird erne 
ConS " - Ma ri "erstelk, welche im Vergleich zu den benutzten Maskenklassen fiirjede Klasse m Pixel die 
SS^onse^bnisse angibt. Wir benutten die „Produeer" und die „User" Klassifkattons - Genautgkett 
(Accuracy). 

pSSAcc uracv- Gibt an wie gut die Klassifikation mit der Referenz (Maske) - Klassifikation ubereinstimmt. 
ig^tlSntfder Anzahl defkorrekt klassifizierten Pixel zur Gesamtzahl der Referenzp.xel (Klasse auf der 

^Accuracy: Gibt in % an, ob die klassifizierten Pixel im Vergleich zur Maske richtig klassifiziert sind. 
Anhand einer Beispiel Matrix werden die GenauigkeitsmaBe, die wir benutzen erklart: 



Referenz K lassi f i kation 

= c'taM 2 Class 3 Gssamt 

Class 1 

M C las s 1 SO ° 1° 

Rezeichnunuen: Producer Accuracy (PA). User Accuracy (UA) 
Class 1 



PA UA 

0.5 10 

Class 2 1.0 0.5 

Class 3 0.4 0.8 



Geo 2001 



Das in der obigen Tabelle dargestellte Beispiel wurde dem „USER Guide" fur eCognition 

STeSion - Cytaron kann die Klassifikationsgenauigkeits - Analyse sowohl objekt- ^wie auch pUtatat 
autonSSh durchgefuhrt werden, vorausgesetzt die Masken sind manuell vom Experten (Medtztner) 
angefertigt: ^ ^ ^ ge , aden ^ unter Anwendung der zur testenden Prozesse 

automatisch analysiert. 
. Uber die Benutzerschnirtstellewird die vom Medizinerangefertigte Maske geladen. 

. Die Berechnung des Klassifikationsgenauigkeits - MaBe werden uber Knopfdruck automatisch 

durchgefuhrt. 

. Die Ergebnissen konnen automatisch in Excel - oder *.txt Files gespe.chert werden. 
Auf die Testbildem wurde auf diese Art sowohl die objekt- w.e auch die P«elbasierte 
KlLifikationsgenauigkeits - Berechnung durchgefuhrt. Die Ergebnissen wurden statst.sch erfaBt und m 
Graphiken wie auch in Tabellen dargestelit. 
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fnsgesamtw urden zur Klassifikationsgenauigkeits - Analyse 10 Testbilder benutzt Fur jede der gesuchten 
Kla^sen, wurde sowohl fur jedes Bild wic auch fur alle 10 Bildern Statistiken Uber die Ergebnisse erstellt. 
Was ist bei diesen Genauigkeitsmessungen besonders aufgetreten: 

. Ein ...oBcs Objekt in der Maske kann uber mehrere Objekte bei der Analyse klassifiziert werden: oft 
orolie Objekte wie z.B. Sinusoid werden nicht als Ganzes, sondern als BruchstUcke des Ganzen 
aefunden Beispiel dazu fur das Sinusoid: bei 12 und in Tabelle 4,.wurden 106 Objekte statt e.nem 
oelunden Dicse aber sind riciuig, da es keinen falsch positiven und keinen falsch negativen gibt 
sondern n'ur einen Treffer (hit). D.h. in diesem Fall, daB alles was, als Sinusoid klassifiziert wurde auch 
Sinusoid ist Dies wird auch au.; der objektbasierten Genauigkeits - Analyse ersichtiich. Die Producer 
Accuracv ist in diesem Fall 0.5769, da nicht das ganze sondern nur der groBte Teil vom Sinusoid 
oefunden wurde (Tabelle 6). Die visuelle Kontrolle (Bild 26) uber das Ergebnis bestatigte dieses 
Verhnlten. Dabei konnten der Zellkem im Sinusoid und seiner nahere Umgebung nicht gefunden 

. Die C bei der automatisch errechncten User Accuracy Werte liegen im Bereich von 1. Diese Wert kann 
nicht als exakt richtig betrachtet werden, da nicht alle Objekte die e.ner Klasse zugeordnet wurden, 

auch TretTer sind. 

Mitochondrien: in Bild 25 ist reprasentativ fur das Testset ein Ergebnis fUr Mitochondrien. Tabellen 1 bis 3 und 
Bilder 17 bis 20 zeigen die Statistik uber die Ergebnisse aus der Klassifikations - Genauigkeitsmessung fur 
Mitochondrion fur jedes und ftir alle Testbilder 

B l S a d m em e o n bjcUtb: 1 sicrten Test liegt die mittlere Uberlappung (mean overlap) der korrekten Treffer (correct hits) 
zwischen g'% (12) und 91% (II). D.h. es konnen zwar mehr oder weniger Mitochondrien als in der Maske 
SSen werden diejenigen aber, die korrekt gefunden wurden, zeigen ein ho es MaB an 
S?Stions«enaui«kei dh. werden gut in Form und GroBe gefunden. Der mittlere Uberlapp uber alle 
SbiWer und bei = den korrekt gefundenen Mitochondrien liegt bei 87% und ze.gt e.ne sehr kleme 

Standardabweichung von 0,02. /T « A nA0 / 

Beim entsprechenden pixelbasierten Verfahren variiert die Producer Accuracy zwischen > 1 5% (16) und 74/o 
m ) D« ErUbnis entspricht der Tatsachc, daB meistens mehr Mitochondrien gefunden werden, als m der Maske 
ausgezetc^net sind. Diese Tatsache bilclet sich auch beim niedrigen Uberlappungswert be. den gefundenen 
Shondrien (objektbasiert, result objects und deren mean overlap) ab. Der Mitte.wert der Producer Accuracy 
uber alle Testbilder liegt bei 52% (Bild 20) mit einer Standard Abweichung von 0,17. 

Sinusoid: in Bild 26 und Bild 29 sind : eprasentative Ergebnisse fur Sinusoid zu sehen. Tabellen 4 bis 6 und 
Bilder 21 bis 24 zeigen die Statistik ubei die entsprechenden Ergebnisse. 

Bei dem obiektbasrerten Test liegt die mittlere Uberlappung (mean overlap) der korrekten Treffer (correct hits) 
zw ischTn 0% (.6 .7) d.h. nicht gefunden und 96% (II). Die Ergebnisse aus dem Bild 12 wurden obe^eg^ndet 
Ser mittlere Uberlapp uber alle Testbilder und bei den korrekt gefundenen S.nuso.den liegt be, 68% und zeigt 
eine Standardabweichung von 0,38. . . /to . • 

Beim entsprechenden pixelbasierten Verfahren liegt variiert die Producer Accuracy zwischen 57 % ( 2) und 
96% (II) De^ ^ Mitte.wert der Producer Accuracy Uber alle Testbilder liegt bei 0,78 (Bild 24) m,t e.ner Standard 
Abweichung von 0,29. 

Nucleus Leberzelle: im Bild 27 ist reprasentativ ein entsprechendes Ergebnis von den Testdaten zn sehen. 
Tabellen 7 bis 10 zei«en die Statistik uber diese Ergebnisse. 

Bei dem obiek basierten Test liegt die mittlere Uberlappung (mean overlap) der korrekten Treffer (correct hits) 
^w schTn Oy! ( 4 (weU es in diesem Bild keinen Leberzellkern gibt) und 99% (15, 19). Der mittlere Uberlapp 
S^T«bildlr C und bei den korrekt gefundenen Zellkerne liegt bei 86% und zeigt erne Standardabwe.chung 

Bdm entsorechenden pixelbasierten Verfahren variiert die Producer Accuracy, soweit der existierende Zellkern 
SS^Sw^vTX 72 % (17) und 98% (13, 16). Der Mittelwert der Producer Accuracy Uber alle Testbilder 
liegt bei 0,8 1 und zeigt eine Standard Abweichung von 0,29. 

L „ m en: in Bild 28 ist reprasentativ ein Ergebnis aus den Testdaten fur das Lumen. Tabellen 1 1 bis 14 zeigen die 

SSSiMeS^feSe^Sliegt die mittlere Uberlappung (mean overlap) der korrekten Treffer (correct hits) 
zw schTn^' „ ( 5 weil in diesem°Bi.d der Lumen sehr klein ist) und 98% (110). Der mittlere Uber.app uber alle 
Testbilder und bei den korrekt gefundenen Zellkerne liegt bei 53% und ze.gt eine Standardabweichung von 0,46. 



3A 



Beim entsprcchenden pixelbasierten Verfahren variiert die Producer Accuracy zwischen 26 % (15 ] I und I 98% 
(110). Der Mittelwert der Producer Accuracy uber alle Testbilder liegt be, 0,65 m.t emer Standard Abwe.chung 
von 0,344. 

A lle Zellekerne in EM - Bild: Tabellen 15 bis 18 zeigen die Statistik Uber die entsprechenden Ergebnissen. Bei 
dem objeUthasierten Test liegt der mittlere Uberlapp (mean overlap) der korrekten Treffer (correct hi s) 
zwischen 0% (14) (weil es in diesem Bild keinen Zellkern gibt) und 99% (19). Die m.ttlere Uberlappung uber alle 
Testbilder und bei den korrekt gefundencn Zellkerne liegt bei 86% und zeigt eine Standardabwe.chung von 0 pO 
Beim entsprechenden pixelbasierten Vcrfahren variiert die Producer Accuracy zw.schen 59% (II) und 98 /» 
(13) Der Mi.telwert der Producer Accur,cy uber alle Testbilder liegt bei 0,71 mit einer Standard - Abwe.chung 
von 0,27. 

Insaesamt sind die untersuchten Objektklassen mit dem vorgestellten Verfahren gut zu finden. Ein solches 
Ergebnis ware bis heute nur manuell und mit entsprechender Miihe seitens des Benutzers verbunden. 

2.3. Evaluierung der Software an Hand von klinischen Untersuchungen 

Im Anhang befmdet sich eine am Institut fur Chirurgische Forschung und an der Chirurgischen Klinik der 
Ludwb Maximilians Universitat MUnchen durchgefUhrte Evaluation der Software. D,e Frage war, ob die 
voreestellte Software zur Unterstiitzung von biomedizinischen Fragestellungen gee.gnet ist. 
Die Lsprechende Studie wurde an klinischen und elektronenmikroskop.schen Daten der Mausleber 
durchgefuhrt und ha.ie als Thema: Ermittlung der geeigneten Temperatur bei der Lebertransplan ation _am 
Modell Maus Bisher wird die Organtemperatur bei der Transplantation bei 4 Grad Celsius gehalten. Eme 
Erhbhung dieser Temperatur wurde^ sowohl manche Probleme, die bei der Reperfus-n ^ Leber nach der 
Transplantation auftre.en, als auch die fur den Patienten unangenehmen gesundheithchen Folgen w,e z.B. 

SS^^X^S^ « - Transplantation der Leber von Uber 4 G^Celsius 
wfe z B 15 und 26 Grad genauso geeknet sein konnten. Die klinische Untersuchungen haben geze.gt daB das 
Gewebe bei "o Grad sehr groBe Ahnlichkeit mit dem Gewebe bei 4 Grad zeigt. Dies wurde neben den khmschen 
auch von vfsuelten Auswertungen entsprechenden elektronenmikroskopischen Bildern unterstUtzt. Schwieng 
war el aber die Ergebnisse bzw. Erkenntnissen aus der Analyse der Bilddaten genau stat.st.sch: zu erfassen 
Diese Aufcabe wurde gezielt fur die „E„nung" der Software gestellt. Die spezielle Frage war, ob es ' abrupt 
moglich isT, die Ergebnisse der Medizinem uber die Software statistisch genauer zu erfassen. D.h. ob das System 
Uberhaupt f\,r solche Aufgaben geeigne. ..are. Die Ergebnisse dieser Untersuchungen werden m der ,m Anhang 
befindenden Publikation beschrieben. 

Die Publikat ion wird demnachst in dem .,>ournal of electron microscopy erscheinen. 
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In dem vorliegenden Bericht werdcn die wichtigsten Ergebnisse fur den ersten Meilenstein des 
Forschungsprojektes nmoBi2 (automa-.ische, multiskalare, objektorientierte Bildanalyse m B.orned.zm 
togestellt Die gestelUe Aufgabe war ein auf der Definiens AG - Technology bas.erendes Verfahren zu 
entwickeln. welches zur automatischen Bildanalyse von elektronenmikroskopischen Aufnahmen (EMs) am 
BeisDielder Maus-bzw. Rattenlebergecignet ist. . 
Aus der von der Definiens AG in Auf.,.g gegebenen Marktanalyse fur das Produkt „eCognu,on Med .st zu 
entnehmen daB die Mikroskopie in ihre unterschiedlichen Formen fur die Forschung und Entwicklung in der 
BiotecnTolouie bzw. Biomedizin ein nicht weg zu denkendes Werkzeug .st. Im Spez.ellen w.rd d,e 
Ilektronenrmkroskopie wegen ihres hohen Auflosungsvermogens in den nachsten Jahren an Bedeutung 

STend auf die schon existierende „eCognition Geo" - Software wurde die,,eCognition Cytaron" Software 
Prototyp entwickelt. Wichtige Merkmale dieses Prototyps sind d.e Prozess-, Objekt . - , Algonthmen - und 
KlasSomnnen. Innerhalb von Prozessen konnen in einem Bild Algonthmen nur auf best.mmte ausgewahhe 
Klassenobjekte wirken. Damit kann der ganze Bildanalyseprozess innerhalb ernes B.ldes, gez.elt nur auf „objects 

t^^SS^^r die Leber sind an morpho.ogischen Eigenschaften von B.— der 
Leberzelle wie z.B Mitochondrien und Zellkern, wie auch Bestandte.le des Smuso.ds (BlutgefaB) w« Lumen, 
Lumeninhalte und Endothel definierbar. Bei elektronenmikroskopischen Aufnahmen sind diese Objetae 
' S gut zu erkennen. Diese „Objekte" wurden als „Objects of Interest" defimert und mnerhalb von EMs 
gS mi recognition Cytaron" gesucht. Fur diesen Zweck wurden an Trainingsdaten spez.elle 
legelsatze, basierend auf vemetzte Prozesse, entwickelt. E.n emfaches Benchmark wurde als 
Slisifikationsgenauigkeits - Analyse" fur diese Prozesse an Testdaten, sowohl „objekt - w,e auch 

m^tS^STia mit „eCognition Cytaron" die obengenannten Bestandteile des Lebergewebes 
automate l a s Ob ects of Interest" gut zu finden sind. Die statistische Analyse der morpholog.schen 
Etenschat n die's'er Objekte wird uber dfe Software ermoglicht und b.eibt dem jewel, gen Benutzer uberlassen. 
Die Software, obwohl sie als Prototyp vorhanden ist, bietet ein benutzerfreundhches GUI. 



3^" 



Anspruche 



1. computerimplementiertes Verfahren zum Organisieren 
von Objekten in einer Datenstruktur , das die Schritte auf- 
weist : 

a) Festlegen eines Zielobj ekts; 

b) Auswahlen eines Objekts von Interesse; 

c) Durchfuhren einer strukturbildenden Operation des 
Objekts von Interesse mit mindestens einem Kandidatenob- 
jekt, falls eine mit dem Zielobj ekt in Bezug stehende vor- 
bestimmte Bedingung zwischen dem Objekt von Interesse und 
dem mindestens einen Kandidatenobj ekt erfullt ist; und 

d) iteratives Durchfuhren des Schritts c) , wobei ein 
sich aus der strukturbildenden Operation ergebendes Objekt 
als das Objekt von Interesse verwendet wird, wobei: 

das Objekt von Interesse ein Merkmal aufweist, das eine 
evolutionare Entwicklung des Objekts von Interesse beim 
iterativen Durchfuhren des Schritts c) anzeigt. 

2. Verfahren nach Anspruch 1, wobei als das mindestens 
eine Kandidatenobj ekt mindestens ein Objekt verwendet wird, 
das sich in einer vorbestimmten Nachbarschaf t zu dem Objekt 
von Interesse befindet. 

3. Computerimplementiertes Verfahren zum automatischen 
Erzeugen und Andern von Objekten Oder eines Objektnetzes 
Oder -baums mittels Objektklassen, wobei das Verfahren die 

Schritte aufweist: 

a) Festlegen mindestens jeweils einer Objektklasse als 
eine Keimklasse, eine Kandidatenklasse und eine Zielklasse; 

b) Durchfuhren einer Klassif ikationsroutine bezuglich 
den eingegebenen Objekten unter Verwendung der Keimklasse, 
urn diejenigen eingegebenen Objekte, die als der Keimklasse 
zugehorig bestimmt werden, als Keimobjekte zu 
klassif izieren; 



Durchfuhren einer Klassif ikationsroutine bezuglich den 
eingegebenen Objekten unter Verwendung der 

Kandidatenklasse, um diejenigen eingegebenen Ob D ekte, die 
als der Kandidatenklasse zugehorig bestimmt werden, als 
Kandidatenobjekte zu klassif izieren; 

d) Durchfuhren einer strukturbildenden Operation der 
Keimobjekte mit jeweils einem Kandidatenobj ekt ; 

e) Durchfuhren einer Klassif ikationsroutine der durch 
die strukturbildende Operation erzeugten Objekte unter 
Verwendung der Zielklasse, um diejenigen durch die 
strukturbildende Operation erzeugten Objekte, von denen die 
zugrunde liegenden Keimobjekte und Kandidatenobjekte m 
Bezug auf die Zielklasse eine vorbestimmte Bedmgung 
erf alien, als neue Keimobjekte bestimmt werden, wobei 
jeweilige durch die strukturbildende Operation erzeugten 
Objekte lediglich dann definitiv bestehen bleiben, wenn die 
vorbestimmte Bedingung erfullt ist; und 

iteratives Durchfuhren der Schritte b) bis e) unter 
Verwendung der neuen Keimobjekte. 

4. Computerprogrammprodukt, das direkt oder nach 
Durchfuhren einer vorbestimmten Routine indirekt im Zusam- 
menwirken mit einem Computer oder Computer system em Ver- 
fahren nach einem der Anspruche 1 bis 3 durchftihrt. 
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